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(57) Abstract: The invention relates to 
a method for preparing image information 
relating to a monitoring region in the 
visual region of an optoelectronic sensor, 
especially a laser scanner, used to record 
the position of objects in at least one 
recording plane, and in the visual region of 
a video system having at least one video 
camera. Depth images recorded by the 
optoelectronic sensor respectively contain 
pixels corresponding to points of a plurality 
of recorded objects in the monitoring 
region, with position co-ordinates of the 
corresponding object points, and the video 
images recorded by the video system 
of a region containing the object points 
comprise the pixels and the data detected 
by the video system. On the basis of the 
recorded position co-ordinates of at least 
one of the object points, at least one pixel 
corresponding to the object point and 
recorded by the video system is defined. 
The data corresponding to the pixel of 
the video image and the pixel of the depth 
image and/or the position co-ordinates of 
the object points arc associated with each 
other. 
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(57) Zusammenfassung: Bei einem Verfahren zur Bereitslcllung von Bildinformationen uber einen Uberwachungsbereich, der im 
Sichtbereich eincs optoeleklronischen Sensors, insbesondcre cines Lascrscanners, zur Erfassung der Lage von Gegenstanden in we- 
nigstens eincr Erfassungsebene und im Sichtbereich eincs Videosystems mit mindestens einer Videokamera hegt, werden von dem 
optoelektronischen Sensor crfasstc Tiefenbildcr, die jewcils Gcgcnstandspunkten auf einem odcr mehreren erfasstcn Gegenstanden 
in dem Ubenvachungsbereich entsprcchende Bildpunkte mit Lagekcx>rdinaten der enlsprcchenden Gcgenslandspunkte enthalten, 
und von dem Vidcosyslcm erfasste Vidcobildcr eincs die Gegenstandspunklc enthallendcn Bereichs, die Bildpunkte mil von dem 
Videosysiem erfasstcn Datcn umiassen, bereilgestelll. Auf der Basis der erfasslen Lagekoordinalen wemgstens eincs der Oegen- 
standspunktc wird wcnigslcns ein dem Gegenslandspunkt entsprechender, von dem Videosysiem erfasster BildpunktbcstimmL Dem 
Bildpunkl des Videobildes cnlsprechende Datcn und der Bildpunkt des Ticfcnbildes und/odcr die Lagekoordinalen des Gcgensland- 
spunkls werden einandcr zugeordnet. 
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Verfahren zur Bereitstellung von BUd informationen 

5 

Die vorliegende Erfindung betrifft ein Verfahren zur Bereitstellung von 
BUdinformationen uber eineii Oberwachungsbereich. 

Vielfach werden Uberwachungsbereiche mit Vorrichtungen zur Bilderfas- 
1 0 sung uberwacht, urn Veranderungen in diesen Bereichen zu erkennen. 
Insbesondere kommen dazu auch Verfahren zur Erkennung und Verfol- 
gung von Objekten zum Einsatz, bei denen auf der Basis von sequential 
erfassten Bildern des Uberwachungsbereichs Objekte erkannt und verfolgt 
werden, die Gegenstanden in dem Oberwachungsbereich entsprechen. Ein 
15 wichtiger Anwendungsbereich solcher Verfahren ist die Oberwachung des 
Bereichs vor einem Fahrzeug oder des gesamten Nahbereichs urn das 
Fahrzeug herum. 

Vorzugsweise werden zur Objekterkennung und -verfolgung Vorrichtun- 
20 gen zur Bilderfassung verwendet, mit denen tiefenaufgeloste Bilder erfasst 
werden konnen. Solche tiefenaufgelosten Bilder enthalten Infbrmationen 
uber die Lage von erfassten Gegenstanden relativ zu der bilderfassenden 
Vorrichtung und insbesondere den Abstand wenigstens von Punkten auf 
der Oberflache solcher Gegenstande von der bilderfassenden Vorrichtung 
25 oder Daten, aus denen dieser Abstand ableitbar ist. 

Als bilderfassende Vorrichtungen konnen beispielsweise Laserscanner zur 
Erfassung tiefenaufgeloster Bilder verwendet werden, die bei einer Abtas- 
tung einen Sichtbereich mit mindestens einem gepulsten Strahlungsbun- 
30 del abtasten, das einen vorgegebenen Winkelbereich uberstreicht und von 
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einem Punkt bzw. Bereich eines Gegenstands, meist diffus, reflektierte 
Strahlungspulse des Strahlungsbundels detektieren. Dabei wird zur Ent- 
fernungsmessung die Laufzeit der ausgesandten, reflektierten und detek- 
tierten Strahlungspulse erfasst. Die so erfassten Rohdaten fur einen Bild- 
5 punkt konnen dann als Koordinaten den Winkel, bei dem der Reflex er- 
fasst wurde, und die aus der Laufzeit der Strahlungspulse bestimmte 
Entfernung des Gegenstandspunkts enthalten. Bei der Strahlung kann es 
sich insbesondere urn sichtbares oder infrarotes Licht handeln. 

10 Solche Laserscanner liefern zwar sehr genauer Lageinformationen und 
insbesondere sehr genaue Abstande zwischen Gegenstandspunkten und 
Laserscanner, doch werden diese in der Regel nur in der Erfassungsebene, 
in der das Strahlungsbundel bewegt wird, bereitgestellt, so dass es sehr 
schwierig sein kann, allein auf der Basis der Lageinformationen in dieser 

15 Ebene einen erfassten Gegenstand zu klassifizieren. So kann beispielswei- 
se eine Ampel, von der nur der die Lichtzeichen tragende Pfahl erfasst 
wird, nicht ohne weiteres von einem Laternenpfahl oder einem Baum 
unterschieden werden, der einen Stamm gleichen Durchmessers in der 
Erfassungsebene aufweist. Ein weiteres fur die Anwendung wichtiges 

20 Beispiel ware die Unterscheidung zwischen einer Person und einem 
Baum. 

Tiefenaufgeloste BUder sind auch mit Videosystemen mit Stereokameras 
erfassbar. Die Genauigkeit der Tiefeninformation sinkt jedoch mit zuneh- 

25 mendem Abstand des Objekts von dem Stereokamerasystem, was eine 
Objekterkennung und -verfolgung erschwert. Dariiber hinaus sollte der 
Abstand zwischen den Kameras des Stereokamerasystems im Hinbhck auf 
eine mdglichst hohe Genauigkeit der Tiefeninformation moglichst hoch 
sein, was bei beschranktem Bauraum, wie er insbesondere in einem Fahr- 

30 zeug vorliegt, problematisch ist. 
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Der vorliegenden Erfinduhg liegt daher die Aufgabe zugrunde, ein Verfah- 
ren bereitzustellen, mit dem Bildinformationen bereitgestellt werden kon- 
nen, die eine gute Objekterkennung und -verfolgung gestatten. 

5 

Die Aufgabe wird nach einer ersten Alternative gelost durch ein Verfahren 
mit den Merkmalen des Anspruchs 1. 

ErfindungsgemaS wird ein Verfahren zur Bereitstellung von Bildinformati- 

10 onen uber einen Oberwachungsbereich, der im Sichtbereich eines opto- 
elektronischen Sensors zur Erfassung der Lage von Gegenstanden in 
wenigstens einer Erfassungsebene und im Sichtbereich eines Videosys- 
tems mit mindestens einer Videokamera liegt, bereitgestellt, bei dem von 
dem optoelektronischen Sensor erfasste Tiefenbilder, die jeweils Gegens- 

1 5 tandspunkten axif einem oder mehreren erfassten Gegenstanden in dem 
Oberwachungsbereich entsprechende Bildpunkte mit Lagekoordinaten der 
entsprechenden Gegenstandspunkte enthalten, und von dem Videosystem 
erfasste Videobilder eines die Gegenstandspunkte enthaltenden Bereichs, 
die Bildpunkte mit von dem Videosystem erfassten Daten umfassen, 

20 bereitgestellt werden, auf der Basis der erfassten Lagekoordinaten wenigs- 
tens eines der Gegenstandspunkte wenigstens ein dem Gegehstandspunkt 
entsprechender, von dem Videosystem erfasster Bildpunkt bestimmt wird, 
und dem Bildpunkt des Videobildes entsprechende Daten und der Bild- 
punkt des Tiefenbildes und/ oder die Lagekoordinaten des Gegenstands- 

25 punkts einander zugeordnet werden. 

Bei dem erfindungsgemaSen Verfahren werden die Bilder zweier Vorrich- 
tungen zur Bilderfassung verwendet, deren Sichtbereiche jeweils den 
Oberwachungsbereich einschliefeen, der insbesondere auch einem der 
30 beiden Sichtbereiche entsprechen kann. Der Sichtbereich eines Videosys- 
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tems ist in der Regel dreidimensional, der eines optoelektronischen Sen- 
sors zur Lageerkennung, beispielsweise eines Laserscanners, aber nur 
zweidimensional. Unter der Formulierung, dass der Oberwachungsbereich 
in dem Sichtbereich eines Sensors liegt, wird daher im Fall eines zweidi- 
5 mensionalen Sichtbereichs verstanden, dass die Projektion des Oberwa- 
chungsbereichs auf die Erfassungsebene, in der der optoelektronische 
Sensor Lageinformationen erfasst, innerhalb des Sichtbereichs des opto- 
elektronischen Sensors liegt. 

10 Bei der einen Vorrichtung zur Bilderfassung handelt es sich urn mindes- 
tens einen optoelektronischen Sensor zur Erfassung der Lage von Gegen- 
standen in wenigstens einer Erfassungsebene, d.h. zur Erfassung tiefen- 
aufgeloster Bilder, die Daten uber Abstande von Gegenstandspunkten von 
dem Sensor in Richtung der von dem Sensor empfangenen, von den jewei- 

15 ligen Gegenstandspunkten ausgehenden elektromagnetischen Strahlung 
direkt oder indirekt enthalten. Solche tiefenaufgelosten Bilder des opto- 
elektronischen Sensors werden in dieser Anmeldung als Tiefenbilder 
bezeichnet. 

20 Optoelektronische Sensoren zur Erfassung solcher uefenaufgeloster Bilder 
sind gruridsatzlich bekannt. So konnen beispielsweise Systeme mit Ste- 
reo-Videokameras verwendet werden, die eine Einrichtung zur Umsetzung 
der von den Kameras aufgenommenen Intensitatsbilder in tiefenaufgeloste 
BHder aufweisen. Vorzugsweise werden jedoch Laserscanner verwendet, 

25 die eine sehr genaue Lagebestimmung erlauben. Insbesondere kann es 
sich urn die eingangs genannten Laserscanner handeln. 

Als zweite Vorrichtung zur Bilderfassung wird ein Videosystem mit min- 
destens einer Videokamera verwendet, bei der es sich beispielsweise urn 
30 eine Zeile von Photodetektionselementen oder, bevorzugt, um Kameras mit 
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CCD- oder CMOS-Flachensensoren handeln kann. Die Videokameras 
konnen dabei im sichtbaren oder im infraroten Bereich des elektromagne- 
tischen Spekbrums arbeiten. Das Videosystem kann wenigstens eine 
monokulare Videokamera oder auch eine Stereokamera bzw. Stereokame- 
5 raanordnung aufweisen. Das Videosystem erfasst Videobilder seines 
Sichtbereichs, die Bildpunkte mit beispielsweise Intensitats- und/ oder 
Farbinformation enthalten konnen. Die in einer Zeile, Spalte oder auf 
einer Flache angeordneten Photodetektionselemente einer Kamera konnen 
dabei in bezug auf den optoelektronischen Sensor zur Erfassung von 
10 Tiefenbildem fest angeordnet oder - bei Verwendung von Laserscannern 
der zuvor genannten Art - bevorzugt auch synchron mit dem Strahlungs- 
bundel und/ oder wenigstens einem Photodetektionselement des Laser- 
scanners, das reflektierte oder remittierte Strahlung des Strahlungsbun- 
dels detektiert, bewegt werden. 

15 

ErfindungsgemaS werden zunachst von dem optoelektronischen Sensor 
erfasste Tiefenbilder, die jeweils Gegenstandspunkten auf einem oder 
mehreren erfassten Gegenstanden in dem Cberwachungsbereich entspre- 
chende Bildpunkte mit Lagekoordinaten der entsprechenden Gegens- 

20 tandspunkte enthalten, und von dem Videosystem erfasste Videobilder 
eines die Gegenstandspunkte enthaltenden Bereichs, die Bildpunkte mit 
von dem Videosystem erfassten Daten umfassen, bereitgestellt. Die Bereit- 
steUung kann durch direkte Obertragung der Bilder von dem Sensor bzw. 
dem Videosystem oder durch Auslesen aus einem Speichermedium, in 

25 dem entsprechende Daten gespeichert sind, erfolgen. Bei den Bildern 
kommt es nur darauf an, dass beide eine Abbildung eines gleichen Be- 
reichs, der grundsatzlich kleiner als der Oberwachungsbereich sein kann, 
aufweisen, so dass dem Gegenstandspunkt entsprechende Bildpunkte 
sowohl in dem Tiefenbild als auch in dem Videobild erscheinen konnen.. 
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Auf der Basis der erfassten Lagekoordinaten wenigstens eines der Gegen- 
standspunkte wird dann wenigstens ein dem Gegenstandspunkt entspre- 
chender, von dem Videosystem erfasster Bildpunkt bestimmt. Im Ergebnis 
wird so zu einem Bildpunkt des Tiefenbildes ein entsprechender Bildpunkt 
5 in dem Videobild bestimmt. 

Daraufhin werden dem Bildpunkt des Videobildes entsprechende Daten 
dem Bildpunkt des Tiefenbildes und/oder den Lagekoordinaten des Ge- 
genstandspunkts bzw. den Daten der Bildpunkt und die Lagekoordinaten 

10 zugeordnet, wodurch eine gegenseitige Erganzung der Bildinformationen 
stattfindet. Lagedaten des Tiefenbildes werden also Videodaten des Video- 
bildes zugeordnet, bei denen es sich urn beliebige sich unmittelbar oder 
durch eine Zwischenauswertung aus den Bildpunkten des Videobildes 
ergebende Daten handeln kann. Beispielsweise konnen die Daten in Ab- 

15 hangigkeit von der Ausbildung des Videosystems Intensities- oder Farbin- 
formationen, bei Verwendung von Infrarotkameras auch Temperaturin- 
formationen, aufweisen. 

So erhaltene Daten fur einen Gegenstandspunkt konnen beispielsweise 
20 als neue Bildpunkte mit Datenelementen fur Lagekoordinaten und Inten- 
sitats- oder Farbinformation ausgegeben, abgespeichert oder 'in einem 
parallel ablaufenden Verfahren, beispielsweise zur Objekterkennung und 
-verfolgung direkt verwendet werden. 

25 Durch das erfindungsgemafie Verfahren konnen fur einen Gegenstands- 
punkt Daten nicht nur hinsichtlich entweder der Lage oder anderer, wei- 
terer, beispielsweise optischer Eigenschaften von Gegenstandspunkten 
bereitgestellt werden, wie dies bei einfachen Sensoren und Videokameras 
der Fall ist, sondem sowohl hinsichtlich der Lage als auch der weiteren 
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Eigenschaften. Beispielsweise konnen zusatzlich zur Lage Intensitat 
und/ oder Farbe fur einen Gegenstandspunkt bereitgestellt werden. 

Die einem Bildpunkt zugeordnete grofcere Anzahl von Daten erlaubt es, 
5 bei Objekterkennungs- und -verfolgungsverfahren nicht nur die Lagein- 
formation, sondern auch Videoinformationen zu benutzen. Dies kann 
beispielsweise bei einer Segmentierung, einer Segment-Objekt-Zuordnung 
oder der Klassinzierung von Objekten sehr vorteilhaft sein, da die grofiere 
Anzahl von Informationen bzw. Daten eine sicherere Identifikation erlaubt. 

10 

Die Bestimmung eines einem Gegenstandspunkt in dem Tiefenbild ent- 
sprechenden Bildpunktes in dem Videobild kann auf verschiedene Art und 
Weise erfolgen. Vorzugsweise ist hierzu die relative Lage des optoelektroni- 
schen Sensors zu der Videokamera bzw. dem Videosystem, das heifit 
15 Abstand im Raum und relative Orientierung, bekannt. Die Bestimmung 

der Relativlage kann zum Beispiel durch Kalibrierung erfolgen. Eine weite- 
re vorzugsweise Bauform ist die Kombination von Videosystem und Laser- 
scanner in einem Gerat, wodurch die Kalibrierung einmalig beim Herstel- 
lungsprozess erfolgen kann. 

20 , 

Wird beispielsweise ein Videosystem mit einer Stereokamera verwendet, 
das tiefenaufgeloste Bilder bereitstellt, kann die Bestimmung allein durch 
Vergleich der Lageinformation erfolgen. Insbesondere bei Verwendung von 
Videosystemen, die keine tiefenaufgelosten Bilder bereitstellen, wird je- 

25 doch bevorzugt der dem Gegenstandspunkt eines Tiefenbildes entspre- 

chende Bildpunkt des VideobUdes in Abhangigkeit von den Abbildungsei- 
genschaften des Videosystems bestimmt. Unter den Abbildungseigen- 
schaften werden in dieser Anmeldung insbesondere auch Brennweiten 
abbildender Vorrichtungen der Videokamera oder des Videosystems sowie 

30 deren Abstand von Empfangselementen wie z.B. CCD- oder CMOS- 



WO 02/103385 



8 



Flachensensoren verstanden. Weist beispielsweise die Videokamera eine 
abbildende Vorrichtung wie zum Beispiel ein Linsensystem auf, die den 
Sichtbereich auf ein Photodetektorfeld, z. B. einen CCD- oder CMOS- 
Flachensensor, abbildet, kann aus den Lagekoordinaten eines Bildpunk- 
5 tes in dem Tiefenbild unter Beachtung der Abbildungseigenschaften der 
abbildenden Vorrichtung berechnet werden, auf welches der Photodetek- 
torelemente in dem Photodetektorfeld der dem Bildpunkt entsprechende 
Gegenstandspunkt abgebildet wird, woraus sich ergibt, welchem Bild- 
punkt des Videobildes der Bildpunkt des Tiefenbildes entspricht. Je nach 
10 Grofie der Photodetektorelemente, Auflosungsvermogen der abbildenden 
Vorrichtung und Lage des Gegenstandspunktes konnen einem Gegen- 
standspunkt auch mehrere Bildpunkte des Videobildes zugeordnet wer- 
den, 

15 Wenn sich die Sichtwinkel von optpelektronischem Sensor und Videosys- 
tem unterscheiden, kann bei einer Vielzahl von Gegenstanden im Oberwa- 
chungsbereich der Fall eintreten, dass ein in dem Tiefenbild sichtbarer 
Gegenstandspunkt in dem Videobild durch einen anderen Gegenstands- 
punkt ganz oder teilweise verdeckt ist. Es ist daher bevorzugt, dass auf 

20 der Basis der Lagekoordinaten eines von dem optoelektronischen Sensor 
erfassten Gegenstandspunkts in dem Tiefenbild und wenigstens der Lage 
und Orientierung des Videosystems festgestellt wird, ob der Gegenstands- 
punkt in dem von dem Videosystem erfassten Videobild ganz oder teilwei- 
se verdeckt ist. Hierzu sollte die Position der Videokamera des Videosys- 

25 terns relativ za dem optoelektronischen Sensor bekannt sein. Diese Positi- 
on kann entweder durch die Anbringung des optoelektronischen Sensors 
und des Videosystems in einer prazisen Relativlage und -orientierung 
vorgegeben oder insbesondere auch durch Kalibrierung bestimmt werden. 
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Weiterhin ist es bevorzugt, dass die Bestimmung von Gegenstandspunk- 
ten entsprechenden Bildpunkten des Videobildes und die Zuordnung 
entsprechender Daten zu den Gegenstandspunkten entsprechenden 
Bildpunkten des Tiefenbildes fur Gegenstandspunkte in einem vorgegebe- 
5 iien Fusionsbereich erfolgt. Bei dem Fusionsbereich kann es sich um 

einen zunachst beliebigen Bereich im Oberwachungsbereich handeln, der 
beispielsweise in Abhangigkeit von der Verwendung der bereitzustellenden 
Daten vorgegeben werden kann. Damit kann unabhangig vom Uberwa- 
chungsbereich insbesondere ein kleinerer, innerhalb des Cberwachungs- 
10 bereichs liegender Bereich vorgegeben werden, in dem die Erganzung von 
Daten stattfinden soli. Der Fusionsbereich entspricht dann einer "region of 
interest". Durch die Vorgabe solcher Fusionsbereiche kann das Verfahren 
deuthch beschleunigt werden. 

15 Bei einer bevorzugten Ausfuhrungsform des Verfahrens werden das Tie- 
fenbild und das Videobild jeweils zunachst segmentiert. Mindestens einem 
Segment in dem Tiefenbild wird dann wenigstens ein Segment des Video- 
bildes zugeordnet, das BUdpunkte enthalt, die wenigstens einigen der 
Bildpunkte des Segments des Tiefenbildes entsprechen. Dabei kann zwar 

20 die Segmentierung des Tiefenbildes und die Segmentierung des Videobil- 
des beispielsweise bei Videosystemen, die tiefenaufgeloste Bilder erfassen, 
nach gleichen Kriterien erfolgen, doch erfolgt bevorzugt die Segmentierung 
in dem Tiefenbild unter Verwendung von Lageinformationen, insbesondere 
Nachbarschaftskriterien, und die Segmentierung in dem Videobild nach 

25 anderen, beispielsweise in der Bildverarbeitung von Videobildern bekann- 
ten Kriterien, beispielsweise auf der Basis von Intensitaten, Farben, Tex- 
turen und/oder Kanten von Bildbereichen. Die entsprechenden Daten 
konnen durch Vorverarbeitungsstufen, beispielsweise Bilddatenfilterung, 
ermittelt werden. Diese Zuordnung ermoglicht es, Bildpunkten in dem 

30 Tiefenbild als Daten Segmente des Videobildes zuzuordnen. Damit kann 
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insbesondere auch Information in Richtungen senkrecht zur Erfassungs- 
ebene des Tiefenbildes, in der die Abtastung durch den optoelektronischen 
Sensor erfolgt, erhalten werden. Dabei kann es sich beispielsweise urn die 
Ausdehnung des Segments bzw. eines diesem Segment zugeordneten 
5 Objekts in einer dritten Dimension handeln. Anhand solcher Information 
kann eine Klassifizierung von Objekten bei einem Objekterkennungs- und 
-verfolgungsverfahren sehr erleichtert werden, Beispielsweise kann ein 
einzelner Leitpfosten an einer StraJSe alleiri aufgrund der Hohe leicht von 
einer StraJSenlaterne unterschieden werden, obwohl sich beide Gegen- 
10 stande in dem Tiefenbild nicht oder kaum unterscheiden. 

Weiter ist es bevorzrugt, dass das Tiefenbild segmentiert wird, dass in 
einem Bereich des Videobildes, der Bildpunkte enthalt, die Bildpionkten 
wenigstens eines Segments in dem Tiefenbild entsprechen, nach einem 

15 vorgegebenen Muster gesucht wird, und dass das Ergebnis der Suche dem 
Segment und /oder den das Segment bildenden Bildpunkten als Daten 
zugeordnet wird. Bei dem Muster kann es sich allgemein urn ein Bild eines 
Bereichs eines Gegenstands handeln; beispielsweise urn ein Bild eines 
Verkehrszeichens oder ein Bild einer Fahrbahnmarkierung. Die Erken- 

20 nung des Musters in dem Videobild kann dabei mit aus der Videobildver- 
arbeitung bekannten Mustererkennungsverfahren erfolgen. Diese Weiter- 
bildung des Verfahrens ist besonders dann vorteilhaft, wenn aufgrund von 
Informationen uber mogliche Gegenstande in dem Uberwachxingsbereich 
bereits Vermutungen aufgestellt werden konnen, was fur Gegenstanden 

25 bzw. diese darstellenden Objekten ein Segment in dem Tiefenbild entspre- 
chen konnte. Beispielsweise kann bei Auftreten eines Segments, das dem 
Pfahl eines Verkehrsschildes entsprechen konnte, ein Ausschnitt in dem 
Videobild, dessen Breite durch die GroJSe und Lage des Segments und die 
Ausdehnung des grofiten erwarteten Objekts, beispielsweise eines Ver- 

30 kehrsschilds, gegeben ist, auf das Abbild eines bestimmten Verkehrsschil- 
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des hin untersucht werden, und dem Segment eine entsprechende Infor- 
mation, zum Beispiel der Typ des Verkehrsschildes, zugeordnet werden. 

Bevorzugt konnen mit Hilfe einer Bildauswertung der Videobilder fur 
Objekte, die mittels des optoelektronischen Sensors erkannt wurden, 
beispielsweise deren Hone, Faroe und Materialeigenschaften ermittelt 
werden. Bei Verwendung einer Thermokamera als Videokamera kann 
auch zusatzlich auf die Temperatur geschlossen werden, was die Klassifi- 
kation einer Person deutlich erleichtert. 



Die Kombination von Informationen des Videobildes mit denen des Tiefen- 
bildes kann auch der Erkennung von Gegenstanden oder bestimmter 
Bereiche auf den Gegenstanden dienen, die mar in einem der Bilder vor- 
handen sind, beziehungsweise eine Interpretation eines der Bilder stutzen. 

15 Beispielsweise kann ein Videosystem den weiJSen Strich einer Fahrbahn- 
begrenzungsmarkierung detektieren, der mit einem Scanner mit ver- 
gleichsweise geringer Tiefen- und Winkelauflosung nicht detektierbar ist. 
Es kann aber auch aus der Bewegung der anderen Objekte und aus der 
Fahrbahnranddetektion auf Plausibilitat der Spurerkennung aus dem 

20 Videobild geschlossen werden. 

Die der Erfmdung zugrundeUegende Aufgabe wird nach einer zweiten 
Alternative durch ein erfindungsgemafies Verfahren mit den Merkmalen 
des Anspruchs 7 gelost. 

Danach wird ein Verfahren zur Bereitstellung von Bildinformationen uber 
einen Uberwachungsbereich, der im Sichtbereich eines optoelektronischen 
Sensors zur Erfassung der Lage von Gegenstanden in wenigstens einer 
Erfassungsebene und im Sichtbereich eines Videosystems zur Erfassung 
tiefenaufgeloster, dreidimensionaler Videobilder mit mindestens einer 
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Videokamera liegt, geschaffen, bei dem von dem optoelektronischen Sen- 
sor erfasste TiefenbUder, die jeweils Gegenstandspunkten auf einem oder 
mehreren erfassten Gegenstanden in dem Crberwachungsbereich entspre- 
chende Bildpunkte enthalten, und von dem Videosystem erfasste Video- 
5 bildem eines die Gegenstandspunkte enthaltenden Bereichs, die Bild- 
punkte mit Lagekoordinaten der Gegenstandspunkte enthalten, bereitge- 
stellt werden, Bildpunkte in dem Videobild, die sich nahe oder in der 
Erfassungsebene des Tiefenbildes befinden, durch eine Translation 
und/ oder Rotation an entsprechende Bildpunkte des Tiefenbildes ange- 
10 passt werden, und die Lagekoordinaten dieser Bildpunkte des Videobildes 
entsprechend der bestimmten Translation und/ oder Rotation korrigiert 
werden. 

Die Ausfuhrungen in bezug auf den Zusammenhang zwischen den Sicht- 
15 bereichen des optoelektronischen Sensors und des Videosystems und dem 
Oberwachungsbereich bei dem erfindungsgemaSen Verfahren nach der 
ersten Alternative treffen auch entsprechend fur das erBndungsgemafie 
Verfahren nach der zweiten Alternative zu. 

20 Im Hinblick auf den optoelektronischen Sensor und die von diesem erfass- 
ten Tiefenbilder gelten die in bezug auf das erfindungsgemaSe Verfahren 
nach der ersten Alternative gemachten Ausfuhrungen auch fur das erfin- 
dungsgemaSe Verfahren nach der zweiten Alternative. 

25 Das Videosystem, das wie das Videosystem bei dem Verfahren nach der 
ersten Alternative mindestens eine Videokamera aufweist, fur die die 
Ausfuhrungen oben auch entsprechend gelten, ist bei dem Verfahren nach 
der zweiten Alternative zur Erfassung tiefenaufgeloster, dreidimensionaler 
Videobilder ausgebildet. Das Videosystem kann dazu eine monokulare 

30 Kamera und eine Auswerteeinrichtung aufweisen, mit der aus aufeinan- 
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derfolgend erfassten VideobUdem mit bekannten Verfahren Lagedaten fur 
Bildpunkte bereitgestellt werden. Bevorzugt werden jedoch Videosysteme 
mit Stereo-Videokameras verwendet, die zur BereitsteUung tiefenaufgelos- 
ter Bilder im oben genannten Sinne ausgebildet sind und entsprechende 
Auswerteeinrichtungen zur Bestimmung der tiefenaufgelosten Bilder aus 
den von den Videokameras erfassten Daten aufweisen konnen. Wie bereits 
oben ausgefuhrt, konnen die Videokameras CCD- oder CMOS-Flachen- 
serisoren und eine abbildende Vorrichtung aufweisen, die den Sichtbe- 
reich der Videokameras auf die Flachensensoren abbildet. 



10 



Nach der BereitsteUung des Tiefenbildes und des tiefenaufgelosten Video- 
bildes, die unmittelbar durch Obertragung aktueUer Bilder bzw. entspre- 
chender Daten von dem optoelektronischen Sensor bzw. dem Videosystem 
oder durch Auslesen entsprechender Daten aus einer Speichereinrichtung 
15 erfolgen kann, werden Bildpunkte in dem Videobild, die sich nahe oder in 
der Erfassungsebene des Tiefenbildes befinden, durch eine Translation 
und/oder Rotation an entsprechende Bildpunkte des Tiefenbildes ange- 
passt. Hierzu soUten wenigstens die relative Ausrichtung von optoelektro- 
nischem Sensor und Videokamera sowie deren Relativlage, insbesondere 
20 der Abstand des Videosystems von der Erfassungsebene in einer Richtung 
senkrecht zu der Erfassungsebene, in der das Tiefenbild von dem opto- 
elektronischen Sensor erfasst wird, im folgenden als "Hohe" bezeichnet, 
bekannt sein. 

25 Die Anpassung kann auf unterschiedUche Weise erfolgen. Bei einer ersten 
Variante werden die Lagekoordinaten aller Bildpunkte eines Segments auf 
die Erfassungsebene des optoelektronischen Sensors projiziert. Durch 
Mittelwertbildung der so projizierten Bildpunkte wird dann eine Lage des 
Segments in der Erfassungsebene des optoelektronischen Sensors defi- 

30 niert. Beispielsweise bei Verwendung geeigneter rechtwinldiger Koordina- 
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tensysteme, bei denen eine Achse senkrecht zur Erfassungsebene ausge- 
richtet ist, bedeutet das Verfahren allein eine Mittelung uber die Koordina- 
ten in der Erfassungsebene. 

5 Bei einer zweiten, bevorzugten Variante werden zur Anpassung nur die 
Bildpunkte des tiefenaufgelosten Videobildes verwendet, die in oder nahe 
der Erfassungsebene liegen. Bevorzugt werden als nahe der Erfassungs- 
ebene liegende Bildpunkte solche BUdpunkte aufgefasst, die einen vorge- 
geben Hochstabstand von der Erfassungsebene aufweisen. Wenn das 

10 Videobild segmentiert ist, kann der Hochstabstand beispielsweise durch 
den Abstand in einer Richtung senkrecht zur Erfassungsebene benach- 
barter Bildpunkte eines die Erfassungsebene schneidenden Segments des 
Videobildes gegeben sein. 

15 Die Anpassung kann durch Optimierungsverfahren erfolgen, bei denen 
beispielsweise der - einfache oder quadratische - Abstand der sich ent- 
sprechenden Bildpunkte oder die Summe der - einfachen oder quadrati- 
schen Abstande - aller betrachteten Bildpunkte minimiert wird, wobei je 
nach der zur Verfugung stehenden Rechenzeit die Mininiierung gegebe- 

20 nenfalls nur teilweise erfolgen kann. Unter "Abstand" wird hierbei jede 
Funktion der Koordinaten der Bildpunkte verstanden, die Kriterien fur 
einen Abstand von Punkten in einem Vektorraum erfullt. Bei der Anpas- 
sung wird wenigstens eine Translation und/oder Rotation ermittelt, die 
notwendig ist, urn die Bildpunkte des Videobildes an die des Tiefenbildes 

25 anzupassen. 

Daraufhin werden die Lagekoordinaten dieser BHdpunkte des Videobildes 
entsprechend der bestimmten Translation und/oder Rotation korrigiert. 
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Bevorzugt werden uber die bei der Anpassung verwendeten Bildpunkte 
hinaus auch in der Richtung senkrecht zu der Erfassungsebene liegende 
Bildpunkte des Videobildes entsprechend korrigiert. 

Zur Anpassung konnen aUe Bildpunkte des Uberwachungsbereichs, aber 
auch beliebige kleinere Mengen von Bildpunkten verwendet werden. In 
dem ersten Fall entspricht die Anpassung einer Kalibrierung der Lage des 
Tiefenbildes und des Videobildes. 

Die korrigierten Koordinaten konnen dann, insbesondere als Bild, ausge- 
geben, abgespeichert oder bei einem parallel ablaufenden Verfahren ver- 
wendet werden. 

Da die Lageinformation in den Tiefenbildern, insbesondere bei Verwen- 
dung von Laserscannern, deutlich genauer als die Lageinformation in 
Sichtrichtung bei Video systemen ist, konnen so sehr genaue, tiefenaufge- 
loste, dreidimensionale Bilder bereitgestellt werden. Es werden die gehau- 
en Lageinformationen des Tiefenbildes mit den genauen Lageinformatio- 
nen des Videobildes in dazu senkrechten Richtungen zu einem sehr ge- 
nauen dreidimensionalen BUd kombiniert, was eine auf diesen Daten 
basierende Objekterkennung und -verfolgung wesentlich erleichtert. 
Beispielsweise konnen Werbetafeln mit Bildern als Flachen erkannt wer- 
den, so dass eine Fehlinterpretation des Videobildes vermieden werden 
kann. 

Im Unterschied zu dem erfindungsgemaSen Verfahren nach der ersten 
Alternative, bei dem im wesentlichen die Lageinformation durch weitere 
Daten erganzt wird, wird bei dem Verfahren nach der zweiten Alternative 
also die Genauigkeit der Lageinformationen in einem dreidimensionalen, 



WO 02/103385 

16 

tiefenaufgelosten Bild erhoht, was eine Objekterkennung und -verfolgung 
wesentlich erleichtert. 

Insbesondere konnen aufgrund der vorhandenen dreidimensionalen In- 
5 formationen Objekte sehr leicht klassifiziert werden. 

Weiterhin ist erfindungsgemafe eine Kombination mit dem Verfahren nach 
der ersten Alternative moglich, wonach weitere Videoinformationen den 
Bildpunkten des Videobildes zugeordnet werden. 

10 

Obwohl das Verfahren nach der zweiten Alternative allein schon mit Bild- 
pxinkten durchfuhrbar ist, ist es bevorzugt, dass jeweils erfasste Bilder 
segmentiert werden, dass mindestens ein Segment in dem Videobild, das 
Bildpunkte in oder nahe der Ebene des Tiefenbildes aufweist, wenigstens 

15 durch eine Translation und/ oder Rotation an ein entsprechendes Segment 
in dem Tiefenbild angepasst wird, und dass die Lagekoordinaten dieser 
Bildpunkte des Segments des Videobildes entsprechend der Translation 
und/ oder Rotation korrigiert werden. Besonders bevorzugt werden die 
Lagekoordinaten aller Bildpunkte des Segments korrigiert. Die Segmentie- 

20 rung kann fur beide Bilder auf der Basis sich entsprechender Kriterien 
erfolgen, was in der Regel eine Segmentierung nach Abstandskriterien 
zwischen benachbarten Bildpunkten bedeutet. Es konnen jedoch auch fur 
das Tiefenbild und das Videobild unterschiedliche Kriterien verwendet 
werden, insbesondere konnen fur das Videobild in der Bildverarbeitung 

25 von Videobildern bekannte Kriterien, beispielsweise eine Segmentierung 
nach Intensitat, Farbe, und/ oder Kanten, erfolgen. Durch die Korrektur 
der Lagen aller Bildpunkte des Segments wird dieses dann insgesamt in 
eine genauere Lage gebracht. Das Verfahren nach dieser Ausfuhrungsform 
hat den Vorteil, dass nicht unbedingt gleiche Anzahlen von Bildpunkten in 

30 dem Tiefenbild und dem tiefenaufgelosten Videobild bzw. Ausschnitten 
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davon vorliegen mussen. Bei der Anpassung, fur die entsprechende Ver- 
fahren wie bei der Anpassung der Bildpunkte verwendet werden konnen, 
konnen insbesondere die Summen der einfachen oder quadratischen 
Abstande aller Bildpunkte des Segments des Tiefenbildes von alien Bild- 
punkten des Segments des Videobildes in oder nahe der Erfassungsebene 
im Sinne der ersten oder zweiten Variante als zu minirnierende Funktion 
verwendet werden, so dass sich eine einfache, aber genaue Anpassung 
realisieren lasst. 

Grundsatzlich kann das Verfahren nach der zweiten Alternative fur jedes 
Segment einzeln durchgefuhrt werden, so dass im wesentlichen eine 
lokale Korrektur erfolgt. Es ist jedoch bevorzugt, dass die Anpassung fur 
alle Segmente des Tiefenbildes gemeinsam durchgefuhrt wird, so dass 
Tiefenbild und Videobild in der Erfassungsebene insgesamt moglichst gut 
zur Deckung gebracht werden, was einer Kalibrierung der relativen Lage 
und Ausrichtung von optoelektronischem Sensor und Videosystem gleich- 
kommt. 

Bei einer anderen Ausfuhrungsform ist es bevorzugt, dass die Anpassung 
nur fur Segmente in einem vorgegebenen Fusionsbereich durchgefuhrt 
wird, der ein vorgegebener Teilbereich des Oberwachungsbereichs ist und 
beispielsweise in Abhangigkeit von der spateren Verwendung der bereitzu- 
steUenden Bndinformationen gewahlt sein kann. Durch diese definierte 
Einschrankung auf einen Teil des tiberwachungsbereichs, der fur eine 
weitere Verarbeitung nur von Interesse ist ("region-of-interest") , kann das 
Verfahren erheblich beschleunigt werden. 

Die folgenden Weiterbildungen beziehen sich auf die erfindungsgemaiSen 
Verfahren nach der ersten und der zweiten Alternative. 
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Die erfindungsgemafcen Verfahren konnen verflochten mit anderen Ver- 
fahren, beispielsweise zur Objekterkennung und -verfolgung, ausgefuhrt 
werden. Dabei konnen die BHdinformationen, d.h. bei dem Verfahren nach 
der ersten Alternative wenigstens die Lageinformationen und die weiteren 

5 Daten aus dem Videobild, und bei dem Verfahren nach der zweiten Alter- 
native die korrigierten Lageinformationen, nur bei Bedarf gebildet werden. 
Bei den erfindungsgemafcen Verfahren ist es jedoch bevorzugt, dass die 
bereitgestellten Bildinformationen wenigstens die Lagekoordinaten von 
Gegenstandspunkten enthalten und als tiefenaufgelostes Bild verwendet 

10 werden. Die so bereitgestellten Daten konnen dann wie ein tiefenaufgelos- 
tes Bild behandelt, d.h. beispielsweise ausgegeben oder gespeichert, wer- 
den. 

Werden bei den Verfahren Fusionsbereiche verwendet, ist es bevorzugt, 
1 5 dass der Fusionsbereich auf der Basis eines vorgegebenen Ausschnittes 
des Videobildes und der Abbildungseigenschaften des Videosystems be- 
stimmt wird. Durch diese Art der Vorgabe des Fusionsbereichs kann 
ausgehend von einem Videobild das Tiefenbild dazu verwendet werden, fur 
ausgewahlte Ausschnitte des Videobildes Lageinformationen aus dem 
20 Tiefenbild zu gewinnen, die bei der Auswertung des Videobildes benotigt 
werden. Damit wird auch die Identifikation eines Objekts in einem Video- 
bild stark erleichtert, da sich haufig ein mutmafiliches Objekt von ande- 
ren allein aufgrund der Tiefeninformation abhebt. 

25 Bei einer anderen bevorzugten Weiterbildung wird auf der Basis der Daten 
eines der tiefenaufgelosten Bilder oder der zusammengefuhrten Bildinfor- 
mationen eine Objekterkennung und -verfolgung durchgefuhrt und der 
Fusionsbereich anhand von Daten der Objekterkennung und -verfolgung 
bestimmt. Damit kann insbesondere eine Erganzung von Lageinformatio- 

30 nen aus dem Tiefenbild, das fur eine Objekterkennung und -verfolgung 
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verwendet wird, durch entsprechende Informationen aus dem Videobild 
erfolgen. Der Fusionsbereich kann dabei durch die Ausdehnung von 
Segmenten im Tiefenbild oder auch die Grofie eines bei der Objekterken- 
nung verwendeten Suchbereichs fur verfolgte Objekte gegeben sein. Durch 
5 die zusatzliche Information aus dem Videobild kann dann eine Klassifizie- 
rung von Objekten bzw. eine Segment-Objekt-Zuordnung mit hoher Si- 
cherheit erfolgen. Insbesondere kann von dem optoelektronischen Sensor 
die vermutliche Position eines Objekts im Videobild angezeigt werden, 
ohne dass schon eine Klassifikation erfolgt. Eine Videobildverarbeitung 

10 braucht dann nur in dem eingeschrankten Fusionsbereich nach Objekten 
zu suchen, was die Geschwindigkeit und Zuverlassigkeit der Suchalgo- 
rithmen erheblich verbessert. Bei einer spateren Klassifikation von Objek- 
ten konnen dann sowohl die geometrischen Messungen des optoelektroni- 
schen Sensors, insbesondere eines Laser scanners, als auch die visuellen 

15 Eigenschaften, ermittelt durch die Videobildverarbeitung, herangezogen 
werden, was die Zuverlassigkeit der erzielten Aussagen ebenfalls deutlich 
verbessert. Insbesondere kann beispielsweise ein Laserscanner Fahr- 
bahnbegrenzungen in Form yon Leit- bzw. Begrenzungspfosten detektie- 
ren, woraus auf die Lage der Fahrbahn geschlossen werden kann. Diese 

20 Informationen konnen von dem Videosystem dazu verwendet werden, die 
weifien Fahxbahnbegrenzungslinien im Videobild schneller zu finden. 

Bei einer anderen bevorzugten Weiterbildung wird der Fusionsbereich 
anhand von Daten uber die vermutliche Lage von Gegenstanden oder 

25 bestimmten Bereichen auf den Gegenstanden bestimmt. Die vermutliche 
Lage von Gegenstanden kann sich dabei aus Informationen von anderen 
Systemen ergeben. Bei Anwendungen im Fahrzeugbereich kann der Fusi- 
onsbereich bevorzugt anhand von Daten aus einer digitalen Strafienkarte, 
gegebenenfalls in Verbindung mit einem Global Positioning System- 

30 Empfanger, bestimmt werden. Anhand der digitalen Karte kann beispiels- 
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weise der Verlauf der Fahrbahn mit grofier Genauigkeit vorhergesagt 
werden. Diese Vermutung kann dann zur Stutzung der Interpretation der 
Tiefen- und/oder Videobilder verwendet werden. 

5 Bei einer weiteren bevorzugten AusfCihrungsform der erfindungsgemafien 
Verfahren werden mehrere Tiefenbilder eines oder mehrerer optoelektroni- 
scher Sensoren verwendet, die Lageinformationen von Objekten in ver- 
schiedenen Erfassungsebenen enthalten. Besonders bevorzugt konnen 
hierzu Laserscanner verwendet werden, die ausgesendete elektromagneti- 

10 sche Strahlung mit mehreren benachbarten Detektoren empfangen, die 
nicht parallel zu den Erfassungsebenen angeordnet sind, in der sich das 
abtastende Strahlungsbundel bewegt. Dadurch werden insbesondere bei 
der Verwendung von Tiefenbildern von Laserscannern sehr genaue Lage- 
daten in mehr als zwei Dimensionen erhalten, die insbesondere bei den 

15 erfindungsgemaJSen Verfahren eine bessere Interpretation bzw. Korrektur 
der Videodaten erlauben. 

Dabei ist es besonders bevorzugt, dass bei dem Verfahren nach der zwei- 
ten Alternative die Anpassung fur Segmente in wenigstens zwei der meh- 
20 reren Tiefenbilder gleichzeitig erfolgt. Die Anpassung fur mehrere Tiefen- 
bilder in einem Schritt ermoglicht eine konsistente Korrektur'der Lagein- 
formationen in dem Videobild, so dass auch die Lagedaten, insbesondere 
in einem tiefenaufgelosten Bild, fur geneigte Flachen sehr genau korrigiert 
werden konnen. 

25 

Bestimmte Typen von optoelektronischen Sensoren wie zum Beispiel 
Laserscanner erfassen Tiefenbilder, indem bei einer Abtastung des Sicht- 
bereichs die Bildpunkte nacheinander erfasst werden. Bewegt sich der 
optoelektronische Sensor relativ zu Gegenstanden im Sichtbereich, er- 
30 scheinen unterschiedliche Gegenstandspunkte desselben Gegenstands 
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bedingt durch die Bewegung des Gegenstands relativ zu dem Sensor 
gegeneinander verschoben. Weiterhin konnen sich Verschiebungen relativ 
zu dem Videobild des Videosystems ergeben, da auf der Zeitskala, auf der 
Abtastungen des Sichtbereichs eines Laserscanners erfolgen (typischer- 
weise im Bereich von etwa 10 Hz), die Videobilder praktisch instantan 
erfasst werden. Solche Verschiebungen fuhren nicht nur zu Ungenauig- 
keiten in den Lagen der Bildpunkte in dem Tiefenbild, sondern auch zu 
Schwierigkeiten bei der Zusammenfuhrung von Tiefenbildern und Video- 
bildern. 

Wird ein Tiefenbild verwendet, das dadurch erhalten wurde, dass bei einer 
Abtastung des Sichtbereichs des optoelektronischen Sensors die Bild- 
punkte nacheinander erfasst wurden, ist es daher bevorzugt, dass vor der 
Bestimmung der Bildpunkte in dem Videobild oder der Anpassung der 
Lagekoordinaten die Lagekoordinaten der Bildpunkte des Tiefenbildes 
jeweils entsprechend der tatsachlichen oder einer daran angenaherten 
Bewegung des optoelektronischen Sensors und der Differenz zwischen den 
Erfassungszeitpunkten der jeweiligen Bildpunkte des Tiefenbildes und 
eiriem Bezugszeitpunkt korrigiert werden. Wird eine Segmentierung 
durchgefuhrt, wird die Korrektur bevorzugt vor der Segmenpierung durch- 
gefuhrt. Die Bewegung des Sensors kann dabei zum Beispiel je nach Gute 
der Korrektur uber dessen Geschwindigkeit oder auch iiber dessen Ge- 
schwindigkeit und Beschleunigung berucksichtigt werden, wobei hierbei 
vektorielle Grofcen, das hei&t GroJSen mit Betrag und Richtung, gemeint 
sind. Die Daten uber diese kinematischen Grofien konnen zum Beispiel 
eingelesen werden. Ist der Sensor an einem Fahrzeug angebracht, so 
konnen zum Beispiel uber entsprechende Fahrzeugsensoren die Eigenge- 
schwindigkeit des Fahrzeugs und der Lenkwinkel oder die Gierrate ver- 
wendet werden, urn die Bewegung des Sensors zu spezifizieren. Dabei 
kann zur Berechnung der Bewegung des Sensors aus den kinematischen 
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Daten eines Fahrzeugs auch dessen Position an dem Fahrzeug beruck- 
sichtigt werden. Die Bewegung des Sensors bzw. die kinematischen Daten 
konnen jedoch auch aus einer entsprechenden parallelen Objekterken- 
nung und -verfolgung in dem optoelektronischen Sensor oder einer nach- 
5 folgenden Objekterkennung bestimmt werden. Weiterhin kann ein GPS- 
Positionserkennungssystem, bevorzugt mit digitaler Karte, verwendet 
werden. 

Vorzugsweise werden kinematische Daten verwendet, die in zeitlicher 
10 Nahe zu der Abtastung und besonders bevorzugt wahrend der Abtastung 
durch den Sensor erfasst werden. 

Zur Korrektur konnen bevorzugt aus den kinematischen Daten der Bewe- 
gung und der Zeitdifferenz zwischen dem Erfassungszeitpunkt des jeweili- 

15 gen Bildpunkts des Tiefenbildes und einem Bezugszeitpunkt mit geeigne- 
ten kinematischen Formeln die durch die Bewegung innerhalb der Zeitdif- 
ferenz verursachten Verschiebungen berechnet und die Koordinaten in 
den Bildpunkten des Tiefenbildes entsprechend korrigiert werden. Grund- 
satzlich konnen jedoch auch modiflzierte kinematische Beziehungen 

20 verwendet werden. Zur einfacheren Berechnung der Korrektur kann es 
vorteilhaft sein, die Bildpunkte des Tiefenbildes zunachst einer Transfor- 
mation, insbesondere in. ein kartesisches Koordinatensystem, zu unter- 
werfen. Abhangig davon, in welcher Form die korrigierten Bildpunkte des 
Tiefenbildes vorliegen sollen, kann eine Rucktransformation nach der 

25 Korrektur sinnvoll sein. 

Ein Fehler in den Positionen der Bildpunkte des Tiefenbildes kann auch 
dadurch hervorgerufen werden, dass sich zwei Objekte, von denen eines 
zu Beginn der Abtastung und das andere gegen Ende der Abtastung er- 
30 fasst wurde, mit hoher Geschwindigkeit gegeneinander bewegen. Dies 
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kann dazu fuhren, dass bedingt durch die zeitliche Latenz zwischen den 
Erfassungszeitpunkten die Positionen der Objekte gegeneinander verscho- 
ben sind. Bevorzugt wird daher in dem Fall, dass Tiefenbilder verwendet 
werden, die dadurch erhalten warden, dass bei einer Abtastung des 
5 Sichtbereichs des optoelektronischen Sensors die Bildpunkte nacheinan- 
der erfasst wurden, eine Folge von Tiefenbildern erfasst und eine Objekt- 
erkennung und /oder -verfolgung auf der Basis der Bildpunkte der Bilder 
des Oberwachungsbereichs durchgefuhrt, wobei jedem erkannten Objekt 
BUdpunkte und jedem dieser Bildpunkte bei der Objektverfolgung berech- 

10 nete Bewegungsdaten zugeordnet werden und vor der Bestimmung der 

Bildpunkte im Videobild oder vor der Segmentbildung die Lagekoordinaten 
der Bildpunkte des Tiefenbildes unter Verwendung der Ergebnisse der 
Objekterkennung und/ oder -verfolgung korrigiert. Zur Korrektur der 
Lageinformationen wird also parallel zur Bilderfassung und Auswertung 

15 eine Objekterkennung und -verfolgung durchgefuhrt, die die erfassten 
Daten wenigstens des optoelektronischen Sensors bzw. Laserscanners 
verarbeitet. Bei der Objekterkennung und/ oder -verfolgung fur jede Abtas- 
tung konnen bekannte Verfahren benutzt werden, wobei grundsatzlich 
schon vergleichsweise einfache Verfahren ausreichen. Insbesondere kann 

20 ein solches Verfahren unabhangig von einem aufwendigen Objekterken- 
nungs- und -verfolgungsverfahren erfolgen, bei dem die erfassten Daten 
verarbeitet werden und beispielsweise eine aufwendige Objektklassifizie- 
rung durchgefuhrt wird, wobei bereits eine Verfolgung von Segmenten in 
dem Tiefenbild ausreichen kann. 

25 

Auch durch diese Korrektur wird die Gefahr herabgesetzt, dass es zu 
Problemen bei der Zusarnmenfuhrung von Bildpunkten des Tiefenbildes 
mit Bildpunkten des Videobildes kommt. Daniber hinaus wird die nach- 
folgende Verarbeitung der Bildpunkte erleichtert. 
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Besonders bevorzugt werden bei der Korrektur die Lagekoordinaten der 
Bildpunkte entsprechend der ihnen zugeordneten Bewegungsdaten und 
der Differenz zwischen der Erfassungszeit der Bildpunkte des Tiefenbildes 
und einem Bezugszeitpunkt korrigiert. 

5 

Bei den Bewegungsdaten kann es sich wiederum insbesondere um kine- 
matische Daten handeln, wobei die zur Korrektur verwendeten Verschie- 
bungen wie oben aus den vektoriellen Geschwindigkeiten und gegebenen- 
falls Beschleunigungen der Objekte und der Zeitdifferenz zwischen der 
10 Erfassungszeit eines Bildpunktes des Tiefenbildes und dem Bezugszeit- 
punkt erfolgt. 

Die genannten Korrekturen konnen alternativ oder kumulativ angewendet 
werden. 
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Bei diesen Korrekturverfahren konnen, wenn nicht zu hohe Anforderun- 
gen an die Genauigkeit der Korrektur gestellt werden, Naherungen fur die 
Erfassungszeit der Bildpunkte des Tiefenbildes verwendet werden. Insbe- 
sondere bei Verwendung eines Laserscanners der oben genannten Art 
20 kann davon ausgegangen werden, dass aufeinanderfolgende Bildpunkte in 
konstanten zeitlichen Abstanden erfasst wurden. Aus der Zeit fur eine 
Abtastung bzw. der Abtastfrequenz und der Anzahl der dabei aufgenom- 
menen Bildpunkte lasst sich damit der zeitliche Abstand aufeinanderfol- 
gender Erfassungen von Bildpunkten und mittels dieses zeitlichen Ab- 
25 standes und der Reihenfolge der Bildpunkte eine Erfassungszeit bezogen 
auf den ersten Bildpunkt bzw., wenn auch negative Zeiten verwendet 
werden, auf einen beliebige Bildpunkt bestimmen. Obwohl der Bezugs- 
zeitpunkt grundsatzlich frei gewahlt werden kann, ist es bevorzugt, dass 
er fur jede Abtastung zwar getxennt, aber jeweils gleich gewahlt wird, da 
30 dann auch nach einer Vielzahl von Abtastungen keine Differenzen grofier 
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Zahlen auftreten und weiterhin keine Verschiebung der Positionen durch 
Variation des Bezugszeitpunkts aufeinanderfolgender Abtastungen bei 
bewegtem Sensor erfolgt, was eine nachfolgende Objekterkennung und 
-verfolgung erschweren konnte. 

5 

Besonders bevorzugt ist es dabei, dass der Bezugszeitpunkt der Zeitpunkt 
der Erfassung des Videobildes ist. Durch diese Wahl des Bezugszeitpunkts 
wird insbesondere eine Verschiebung von Bildpunkten, die relativ zu dem 
Sensor oder relativ zueinander bewegten Gegenstanden entsprechen, 
10 aufgrund der gegenuber dem Videosystem verschobenen Erfassungszeit 
korrigiert, wodurch die Zusamrnenfuhrung von Tiefen- und Videobild zu 
besseren Ergebnissen fuhrt. 

Kann der Erfassungszeitpunkt des Videobildes mit der Abtastung des 
15 Sichtbereichs des optoelektronischen Sensors synchronisiert werden, ist 
es besonders bevorzugt, dass der Erfassungszeitpunkt und damit der 
Bezugszeitpunkt zwischen der fruhesten als Erfassungszeit eines Bild- 
punktes des Tiefenbildes definierten Zeit einer Abtastung und der zeitlich 
letzten als Erfassungszeit eines Bildpunktes des Tiefenbildes definierten 
20 Zeit der Abtastung liegt. Hierdurch wird gewahrleistet, dass Fehler, die 

durch die Naherung in der kinematischen Beschreibung entstehen, mog- 
Uchst gering gehalten werden. Besonders vorteilhaft kann als Bezugszeit- 
punkt ein Erfassungszeitpunkt eines der Bildpunkte der Abtastung ge- 
wahlt werden, so dass dieses als Erfassungszeit innerhalb der Abtastung 
25 die Zeit Null erhalt. 

Bei einer weiteren bevorzugten Ausfuhrungsform des Verfahrens werden 
als erster Schritt ein Tiefenbild und ein Videobild erfasst und deren Daten 
fur die weiteren Verfahrensschritte bereitgestellt. 
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Weiterer Gegenstand der Erfindung ist ein Verfahren zur Erkennung und 
Verfolgung von Objekten, bei dem Bttdinformationen liber den Uberwa- 
chungsbereich mit einem Verfahren nach einem der vorhergehenden 
Anspruche bereitgestellt werden, und auf der Basis der bereitgestellten 
,5 Bildinformationen eine Objekterkennung und -verfolgung durchgefuhrt 
wird. 

Daruber hinaus ist Gegenstand der Erfindung auch ein Computerpro- 
gramm mit Programmcode-Mitteln, urn eines der erfindungsgema&en 
10 Verfahren durchzufuhr en , wenn das Programm auf einem Computer 
ausgefuhrt wird. 

Gegenstand der Erfindung ist auch ein Computerprogrammprodukt mit 
Programmcode-Mitteln, die auf einem computerlesbaren Datentrager 
15 gespeichert sind, urn eines der erfindungsgemafien Verfahren durchzu- 
fuhren, wenn das Computerprogrammprodukt auf einem Computer aus- 
gefuhrt wird, 

Unter einem Computer wird hierbei eine beliebige Datenverarbeitungsvor- 
20 richtung verstanden, mit der das Verfahren ausgefuhrt werden kann. 

Insbesondere kann diese digitale Signalprozessoren und/oder Mikropro- 
zessoren aufweisen, mit denen das Verfahren ganz oder in Teilen ausge- 
fuhrt wird. 

25 Schliefilich ist Gegenstand der Erfindung eine Vorrichtung zur Bereitstel- 
lung von tiefenaufgelosten Bildern eines Uberwachungsbereichs, mit 
mindestens einem optoelektronischen Sensor zur Erfassung der Lage von 
Gegenstanden in wenigstens einer Ebene, insbesondere einem Laserscan- 
ner, einem Videosystem mit mindestens einer Videokamera und einer mit 

30 dem optoelektronischen Sensor und dem Videosystem verbundenen Da- 
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tenverarbeitungseinrichtung, die zur Durchfuhrung eines der erfindungs- 
gemaSen Verfahren ausgebildet ist. 

Bevorzugt weist das Videosystem eine Stereokamera auf . Besonders be- 
5 vorzugt ist das Videosystem zur Erfassung tiefenaufgeloster, dreidimensi- 
onaler Bilder ausgebildet. Die zur Bildung des tiefenaufgelosten Videobil- 
des aus den Bildem der Stereokamera erforderliche Einrichtung kann 
entweder in dem Videosystem enthalten sein oder durch die Datenverar- 
beitungseinrichtung gegeben sein, in der die entsprechenden Operationen 
10 durchgefuhrt werden. 

Urn die Lage und Ausrichtung von optoelektronischem Sensor und Video- 
system fest vorgeben zu konnen, ist es bevorzugt, den optoelektronischem 
Sensor und das Videosystem zu einem Sensor zu integrieren, so dass 
15 deren raumliche Anordnung zueinander bereits bei der Herstellung festge- 
legt wird. Andemfalls ist eine Kalibrierung notwendig. Besonders bevor- 
zugt Hegt eine optische Achse einer abbildenden Vorrichtung einer Video- 
kamera des Videosystems zumindest im Bereich des optoelektronischen 
Sensors nahe, vorzugsweise in der Erfassungsebene. Diese Anordnung 
20 erlaubt eine besonders einfache Bestimmung von einander zugeordneten 
BHdpunkten des Tiefen- und des Videobildes. Weiterhin ist es besonders 
bevorzugt, dass das Videosystem eine Anordnung von Photodetektionse- 
lementen aufweist, der optoelektronische Sensor ein Laserscanner ist, und 
die Anordnung von Photodetektionselementen synchron mit einem zur 
25 Abtastung eines Sichtbereichs des Laserscanners verwendeten Strah- 
lungsbundel und/ oder mindestens einem zur Detektion von Strahlung 
dienenden Photodetektionselement des Laserscanners, insbesondere urn 
eine gemeinsame Achse, verschwenkbar ist, da hierdurch auch die Prob- 
leme im Hinblick auf die Synchronisation der Erfassung von Videobild 
30 und Tiefenbild reduziert werden. Bei der Anordnung von Photodetektion- 
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selementen kann es sich insbesondere urn eine Zeile, Spalte oder eine 
flachige Anordnung wie rum Beispiel eine Matrix handeln. Vorzugsweise 
wird zur Erfassung von Bildpunkten auch in einer Richtung senkrecht zur 
Erfassungsebene eine Spalte oder eine flachige Anordnung verwendet. 

Ausfuhrungsformen der Erfindung werden nun beispielhaft anhand der 
Zeichnung beschrieben. Es zeigen: 

Fig. 1 eine schematische Draufsicht auf ein Fahrzeug mit einem 

Laserscanner, einem Videosystem mit einer monokularen 
Kamera und einem vor dem Fahrzeug befindlichen Pfahl, 

Fig. 2 eine teilweise schematische Seitenansicht des Fahrzeugs und 

des Pfahls in Fig. 1, 

eine schematische teilweise Darstellung eines von dem Video- 
system in Fig. 1 erfassten Videobildes, 

eine schematische Draufsicht auf ein Fahrzeug mit einem 
Laserscanner, einem Videosystem mit einer Stereokamera 
und einem vor dem Fahrzeug befindlichen Pfahl, und 

Fig. 5 eine teilweise, schematische Seitenansicht des Fahrzeugs und 

des Pfahls in Fig. 4. 

In den Fig. 1 und 2 tragt ein Fahrzeug 10 zur Oberwachung des Bereichs 
vor dem Fahrzeug an seiner Frontseite einen Laserscanner 12 und ein 
Videosystem 14 mit einer monokularen Videokamera 16. In dem Fahrzeug 
befindet sich weiterhin eine mit dem Laserscanner 12 und dem Videosys- 
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tern 14 verbundene Datenverarbeitungseinrichtung 18. In Fahrtrichtung 
vor dem Fahrzeug befindet sich ein Pfahl 20. 

Der Laserscanner 12 weist einen in Fig. 1 nur teilweise gezeigten Sichtbe- 
5 reich 22 auf, der aufgrund der Anbaulage symmetrisch zur Langsachse 
des Fahrzeugs 10 einen Winkel von etwas mehr als 180° abdeckt. Der 
Sichtbereich 22 ist in Fig. 1 nur schematises und zur besseren Darstel- 
lung insbesondere in radialer Richtung zu klein dargesteUt. In dem Sicht- 
bereich 22 befindet sich beispielhaft der Pfahl 20 als zu erfassender Ge- 
10 genstand. 

Der Laserscanner 12 tastet seinen Sichtbereich 22 in grundsatzlich be- 
kannter Weise mit einem mit konstanter Winkelgeschwindigkeit umlau- 
fenden, gepulsten Laserstrahlungsbundel 24 ab, wobei ebenfalls umlau- 
15 fend in konstanten Zeitabstanden At zu Zeiten xi in festen Winkelbereichen 
um einen mittleren Winkel cti detektiert wird, ob das Strahlungsbundel 24 
von einem Punkt 26 bzw. Bereich eines Gegenstands wie des Pfahls 20 
reflektiert wird. Der Index i lauft dabei von 1 bis zur Anzahl der Winkelbe- 
reiche im Sichtbereich 22. Von diesen Winkelbereichen ist in Fig. 1 nur 
20 ein Winkelbereich gezeigt, der dem mittleren Winkel cti zugeordnet ist. 
Hierbei ist der Winkelbereich zur deutlicheren Darstellung ubertrieben 
grofi gezeigt. Der Sichtbereich 22 ist, wie in Fig. 2 erkennbar, bis auf die 
Aufweitung des Strahlenbundels 24 zweidimensional und Uegt in einer 
Erfassungsebene. Anhand der Laufzeit des Laserstrahlpulses wird der 
25 Sensorabstand di des Gegenstandspunktes 26 von dem Laserscanner 12 
ermittelt. Der Laserscanner 12 erfasst daher als Koordinaten in dem 
Bildpunkt fur den Gegenstandspunkt 26 des Pfahls 20 den Winkel % und 
den bei diesem Winkel festgestellten Abstand di, das heifit die Position des 
Gegenstandspunkts 26 in Polarkoordinaten. 
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Die Menge der bei einer Abtastung erfassten Bildpunkte bildet ein Tiefen- 
bild im Sinne der vorliegenden Aximeldung. 

5 Der Laserscanner 12 tastet seinen Sichtbereich 22 jeweils in aufeinander- 
folgenden Abtastungen ab, so dass eine zeitliche Folge von Abtastungen 
und entsprechenden Tiefenbildem entsteht. 

Die monokulare Videokamera 16 des Videosystems 14 ist eine konventio- 
10 nelle Schwarz-Weifi-Videokamera mit einem CCD-Flachensensor 28 und 
einer abbildenden Vorrichtung, die in den Fig. 1 und 2 schematisch als 
einfache Linse 30 dargestellt ist, tatsachlich aber aus einem Linsensystem 
besteht, und aus dem Sichtbereich 32 des Videosystems einfallendes Licht 
auf den CCD-Flachensensor 28 abbildet. Der CCD-Flachensensor 28 weist 
15 in einer Matrix angeordnete Photodetektionselemente auf. Signale der 

Photodetektioriselemente werden ausgelesen, wobei Videobilder mit Bild- 
punkten gebildet werden, die die Positionen der Photodetektionselemente 
in der Matrix oder eine andere Kennung fur die Photodetektionselemente 
und jeweils einen der Intensitat des von dem entsprechenden Photodetek- 
20 tionselement empfangenen Lichts entsprechenden Intensitatswert enthal- 
ten. Die Videobilder werden in diesem Ausfuhrungsbeispiel mit der glei- 
chen Rate erf asst, mit der von dem Laserscanner 12 Tiefenbilder erfasst 
werden. 

25 Von dem Pfahl 20 ausgehendes Licht wird durch die Linse 30 auf den 
CCD-Flachensensor 28 abgebildet. Dies ist in den Fig. 1 und 2 fur die 
Umrisse des Pfahls 30 durch die kurzgestrichelten Linien schematisch 
angedeutet. 



ISDOCJD <WO 



WO 02/103385 



PCT/EP02/06599 



31 



10 



15 



Aus dem Abstand von CCD-Flachensensor 28 und Linse 30 sowie aus der 
Lage und den Abbildungseigenschaften der Linse 30, beispielsweise deren 
Brennweite, kann aus der Lage eines Gegenstandspunktes, z. B. des 
Gegenstandspunktes 26, auf dem Pfahl 20 berechnet werden, auf welche 
der matrixformig angeordneten Photodetektionselemente der Gegen- 
standspunkt abgebildet wird. 

Bin Oberwachungsbereich 34 ist in den Fig. 1 und 2 schematised durch 
eine gepunktete Linie naherungsweise dargestellt und durch den Teil des 
Sichtbereichs 32 des Video-systems gegeben, dessen Projektion auf die 
Ebene des Sichtbereichs 22 des Laserscanners innerhalb des Sichtbe- 
reichs 22 liegt. Innerhalb dieses Uberwachungsbereichs 34 befindet sich 
der Pfahl 20. 

Zur Verarbeitung der Bilder des Laserscanners 12 und des Videosystems 
14 ist die Datenverarbeitungseinrichtung 18 vorgesehen, die dazu mit dem 
Laserscanner 12 und dem Videosystem 14 verbunden ist. Die Datenverar- 
beitungseinrichtung 18 weist unter anderem einen zur Ausfuhrung des 
erfindungsgemafcen Verfahrens programmierten digitalen Signalprozessor 
und eine mit dem digitalen Signalprozessor verbundene Speichereinrich- 
tung auf. Bei einer anderen Ausfuhrungsform der erfindungsgemaJSen 
Vorrichtung zur Bereitstellung von BUdinformationen kann die Datenver- 
arbeitungseinrichtung auch einen konventionellen Prozessor aufweisen, 
mit dem ein in der Datenverarbeitungseinrichtung gespeichertes erfin- 
dungsgemafces Computerprogramm zur Ausfuhrung des erfmdungsgema- 
Sen Verfahrens ausgefuhrt wird. 

Bei einem ersten Verfahren zur Bereitstellung von BHdinformationen nach 
einer bevorzugten ersten Ausfuhrungsform des erfmdungsgemafien Ver- 
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fahrens nach der ersten Alternative werden zunachst von dem Laserscan- 
ner 12 ein Tiefenbild und von dem Videosystem 14 ein Videobild erfasst. 

Zur einfacheren Darstellung wird angenommen, dass sich im Uberwa- 
5 chungsbereich 34 nur der Pfahl 20 befindet. Das von dem Laserscanner 
12 erfasste Tiefenbild weist dann Bildpunkte 26*, 36' und 38* auf, die den 
Gegenstandspunkten 26, 36 und 38 entsprechen. Diese Bildpunkte sind 
in Fig. 1 und Fig. 2 zusammen mit den entsprechenden Gegenstands- 
punkten gekennzeichnet. Von dem Videobild sind in Fig. 3 nur die Bild- 
10 punkte 40 des Videobildes gezeigt, die im wesentlichen gleiche Intensi- 
tatswerte aufweisen, da sie dem Pfahl 20 entsprechen. 

Die beiden Bilder werden dann segmentiert. Ein Segment des Tiefenbildes 
wird aus Bildpunkten gebildet, von denen wenigstens zwei hochstens 
15 einen vorgegebenen Maximalabstand haben. Im Beispiel bilden die Bild- 
punkte 26', 36' und 38* ein Segment. 

Die Segmente des Videobildes enthalten Bildpunkte, deren Intensitatswer- 
te sich urn weniger als einen kleinen vorgegebenen Maximalwert unter- 
20 scheiden. In Fig. 3 ist das Ergebnis der Segmentierung gezeigt, wobei 

Bildpunkte des Videobildes nicht gezeigt sind, die nicht zu dem gezeigten 
Segment gehoren, das dem Pfahl 20 entspricht. Das Segment hat also im 
wesentlichen eine Rechteckform, die der des Pfahls 20 entspricht. 

25 Soli bei einem Objekterkennungs- und -verfolgungsverfahren festgestellt 
werden, was fur einem Gegenstand das aus den Bildpunkten 26', 36' und 
38* des Tiefenbildes gebildete Segment entspricht, wird erganzend die 
Information aus dem Videobild herangezogen. Als Fusionsbereich wird 
hier der gesamte Uberwachtingsbereich 34 vorgegeben. 

30 
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Aus den Lagekoordinaten der Bildpunkte 26*, 36' und 38« des Tiefenbildes 
werden unter Berucksichtigung der relativen Lage des Videosystems 14 zu 
der Erfassungsebene des Laserscanners 12, der relativen Lage zu dem 
Laserscanner 12 sowie der Abbildungseigenschaften der Linse 30 diejeni- 
5 gen Photodetektionselemente bzw. Bildpunkte 39 des Videobildes berech- 
net, die den Gegenstandspunkten 26, 36 und 38 entsprechen und eben- 
falls in Fig. 3 gezeigt sind. 

Da die berechneten Bildpunkte 39 in dem aus Bildpunkten 40 gebildeten 
10 Segment liegen, wird den den Gegenstandspunkten 26, 36 und 38 ent- 
sprechenden Bildpunkten 26', 36' und 38' bzw. dem daraus gebildeten 
Segment des Tiefenbildes das aus den Bildpunkten 40 gebildete Segment 
zugeordnet. Aus der Hone des Segments kann dann bei gegebenem Ab- 
stand unter Berucksichtigung der Abbildungseigenschaften der Linse 30 
15 die Hohe des Pfahls 20 berechnet werden. Auch diese Information kann 

den den Gegenstandspunkten 26, 36 und 38 entsprechenden Bildpunkten 
26', 36' und 38' des Tiefenbildes zugeordnet werden. Aufgrund dieser 
Information kann beispielsweise darauf geschlossen werden, dass das 
Segment des Tiefenbildes einem Pfahl bzw. einem Objekt des Typs Pfahl 
20 und nicht einem eine geringere Hohe aufweisenden Leitpfoslien entspricht. 
Diese Information kann ebenfalls den den Gegenstandspunkten 26, 26 
und 38 entsprechenden Bildpunkten 26', 36' und 38' des Tiefenbildes 
zugeordnet werden. 

25 Diese Bildpunkte des Tiefenbildes konnen auch zusammen mit der zuge- 
ordneten Information ausgegeben oder gespeichert werden. 

Ein zweites Verfahren nach einer weiteren Ausfuhrungsform der Erfin- 
dung nach der ersten Alternative unterscheidet sich von dem ersten Ver- 
30 fahren dadurch, dass nicht die Informationen des Tiefenbildes, sondern 
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die Informationen des Videobildes erganzt werden sollen. Nach der Seg- 
mentierung wird daher der Fusionsbereich anders definiert. Im Beispiel 
wird aus der Lage des aus den Bildpimkten 40 des Videobildes gebildeten 
Segments im Bereich bzw. auf Hohe der Erfassungsebene des Laserscan- 
5 ners 12 in Abhangigkeit von den Abbildungseigenschaften der Linse 30 
berechnet, welchem Bereich in der Erfassungsebene des Laserscanners 12 
das Segment in dem Videobild entsprechen kann. Da der Abstand des aus 
den Bildpiinkten 40 gebildeten Segments von dem Videosystem 14 zu- 
nachst nicht bekannt ist, ergibt sich ein ganzer Fusionsbereich. Fur in . 

10 diesem Fusionsbereich liegende Bildpunkte des Tiefenbildes wird daxm wie 
bei dem ersten Verfahren eine Zuordnung zu dem Segment in dem Video- 
bild bestimmt. Damit lasst sich der Abstand des Segments in dem Video- 
bild von dem Laserscanner 12 bestimmen. Diese Information stellt dann 
eine Erganzung der Videobilddaten dar, die bei einer Bildverarbeitung des 

15 Videobildes berucksichtigt werden kann. 

Ein weiteres Ausfuhrungsbeispiel der Erfindung nach der zweiten Alterna- 
tive wird nun anhand der Fig. 4 und 5 beschrieben. Fur Gegenstande, die 
denen in den vorherigen Ausfuhrungsbeispielen entsprechen, werden im 
20 folgenden die gleichen Bezugszeichen verwendet und bezuglich der genau- 
eren Beschreibung auf das obige Ausfuhrungsbeispiel verwiesen. 

In Fig. 4 tragt ein Fahrzeug 10 zur Uberwachung des Bereichs vor dem 
Fahrzeug einen Laserscanner 12 und ein Videosystem 42 mit einer Ste- 
25 reokamera 44. In dem Fahrzeug 10 befindet sich weiterhin eine mit dem 
Laserscanner 12 und dem Videosystem 42 verbundene Datenverarbei- 
tungseinrichtung 46. In Fahrtrichtung vor dem Fahrzeug befindet sich 
wieder ein Pfahl 20. 
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Wahrend der Laserscanner 12 wie im ersten Ausfuhrungsbeispiel aufge- 
baut ist und seinen Sichtbereich 22 in gleicher Weise abtastet, ist bei dem 
vorliegenden Ausfuhrungsbeispiel statt eines Videosystems mit einer 
monokularen Videokamera das Videosystem 42 mit der Stereokamera 44 
5 vorgesehen, das zur Erfassung tiefenaufgeloster Bilder ausgebildet ist. Die 
Stereokamera wird dabei durch zwei an den vorderen aufceren Kanten des 
Fahrzeugs 10 angebrachten monokularen Videokameras 48a und 48b und 
eine Auswerteeinrichtung 50 gebildet, die mit den Videokameras 48a und 
48b verbunden ist und deren Signale zu tiefenaufgelosten, dreidimensio- 
10 nalen Videobildern verarbeitet. 

Die monokularen Videokameras 48a und 48b sind jeweils wie die Video- 
kamera 16 des ersten Ausfuhrungsbeispiels aufgebaut und in einer fest 
vorgegebenen Geometrie so gegeneinander orientiert, dass deren Sichtbe- 
15 reiche 52a und 52b sich uberschneiden. Der Oberschneidungsbereich der 
Sichtbereiche 52a und 52b bildet den Sichtbereich 32 der Stereokamera 
44 bzw. des Videosystems 42. 

Die von den Videokameras 48a und 48b erfassten Bildpunkte innerhalb 
20 des Sichtbereichs 32 des Videosystems werden der Auswerteeinrichtung 
50 zugefuhrt, die aus diesen Bildpunkten unter Berucksichtigung der 
Lage und Ausrichtung der Videokameras 48a und 48b ein tiefenaufgelos- 
tes Bild berechnet, das Bildpunkte mit dreidimensionalen Lagekoordina- 
ten und Intensitatsinformationen enthalt. 

25 

Der Uberwachungsbereich 34 ist wie beim ersten Ausfuhrungsbeispiel 
durch die Sichtbereiche 22 und 32 des Laserscanners 12 bzw. des Video- 
systems 42 gegeben. 
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Der Laserscanner erfasst mit hoher Genauigkeit Bildpunkte 26', 36' und 
38', die den Gegenstandspunkten 26, 36 und 38 auf dem Pfahl 20 ent- 
sprechen. 

Das Videosystem erfasst Bildpunkte in drei Dimensionen. Die in Fig. 4 
gezeigten, von dem Videosystem 42 erfassten, den Gegenstandspunkten 
26, 36 und 38 entsprechenden Bildpunkte 26", 36" und 38" weisen auf- 
grund des zur Erfassung verwendeten Verfahrens grofiere Lageungenau- 
igkeiten in Richtung der Tiefe des Bildes auf. Das heifit, dass die durch 
die Lagekoordinaten eines Bildpunktes gegebenen Abstande von dem 
Videosystem nicht sehr genau sind. 

In Fig. 5 sind weitere Bildpunkte 54 des tiefenaufgelosten Videobildes 
dargestellt, die unmittelbar keinen Bildpunkten in dem Tiefenbild des 
Laserscanners 12 entsprechen, da sie sich nicht in oder nahe der Erfas- 
sungsebene befinden, in der die Gegenstandspunkte 26, 36 und 38 liegen. 
Der Ubersichtlichkeit halber wurden weitere Bildpunkte weggelassen. 

Zur Verarbeitung der Bilder des Laserscanners 12 und des Videosystems 
42 ist die Datenverarbeitungseinrichtung 46 vorgesehen, die dazu mit dem 
Laserscanner 12 und dem Videosystem 42 verbunden ist. Die Datenverar- 
beitungseinrichtung 42 weist unter anderem einen zur Ausfuhrung des 
erfindungsgemaSen Verfahrens nach der zweiten Alternative programmier- 
ten digitalen Signalprozessor und eine mit dem digitalen Signalprozessor 
verbundene Speichereinrichtung auf. Bei einer anderen Ausfuhrungsform 
der erfindungsgemaBen Vorrichtung zur Bereitstellung von BUdinformati- 
onen kann die Datenverarbeitungseinrichtung auch einen konventionellen 
Prozessor aufweisen, mit dem ein erfmdungsgemaE.es Computerprogramm 
zur Durchfuhrung einer Ausfuhrungsform des erfmdungsgemaSen, im 
folgenden geschilderten Verfahrens ausgefuhrt wird. 
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Wie bei dem ersten Ausfuhrungsbeispiel werden von dem Laserscanner 12 
ein Tiefenbild und von dem Videosystem 42 ein tiefenaufgelostes, dreidi- 
mensionales Videobild erfasst und eingelesen. Daraufhin werden die 
5 Bilder segmentiert, wobei die Segmentierung des Videobildes auch bereits 
in der Auswerteeinrichtung 50 vor oder bei der Berechnung der tiefenauf- 
gelosten Bilder erfolgt sein kann. Wie beim ersten Ausfuhrungsbeispiel 
bilden die den Gegenstandspunkten 26, 36 und 38 entsprechenden Bild- 
punkte 26', 36' und 38' des Tiefenbildes ein Segment des Tiefenbildes. 

10 

In dem Segment des Videobildes, das im Beispiel die in den Fig. 4 und 5 
gezeigten Bildpunkte 26", 36", 38" und 54 sowie weitere nicht gezeigte 
Bildpunkte nmfasst, werden die Bildpunkte bestimmt, die einen vorgege- 
benen maximalen Abstand von der Erfassungsebene aufweisen, in dem 
15 sich das Strahlungsbundel 24 bewegt. Geht man davon aus, dass die 

tiefenaufgelosten Bilder in der Richtung senkrecht zur Erfassungsebene 
entsprechend der Struktur der CCD-Flachensensoren der Videokameras 
48a und 48b Schichten von Bildpunkten aufweisen, kann der maximale 
Abstand beispielsweise durch den Abstand der Schichten gegeben sein. 

20 , • 

Durch diesen Schritt wird ein Teilsegment des Segments des Videobildes 
mit den Bildpunkten 26", 36" und 38" bereitgestellt, das dem Segment des 
Tiefenbildes entspricht. 

25 Durch Bestimmung einer optimalen Translation und/ oder einer optimalen 
Rotation des Teilsegments wird nun die Lage des Teilsegments an die 
wesentlich genauer bestimmt Lage des Tiefensegments angepasst. Dazu 
wird die Summe der quadratischen Abstande der Lagekoordinaten aller 
Bildpunkte des Segments des Tiefenbildes von den durch eine Translation 
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und/oder Rotation transformierten Lagekoordinaten aUer Bildpunkte des 
Teilsegments als Funktion der Translation und/oder Rotation minimiert. 

Zur Korrektur der Lagekoordinaten des gesamten Segments des Videobil- 
5 des werden die Lagekoordinaten mit der so bestimmten optimalen Trans- 
lation und/oder Rotation transformiert. Dadurch wird das gesamte Seg- 
ment des Videobildes in der Erfassungsebene so ausgerichtet, dass es in 
dem Bereich, in dem es die Erfassungsebene schneidet, die in bezug auf 
das durch den Laserscanner bestirxirnte Segment des Tiefenbildes optimale 
10 Lage in der Erfassungsebene aufweist. 

Bei einer anderen Ausfuhrungsform des Verfahrens kann auch ausgehend 
von einem Segment des Tiefenbildes ein geeignetes Segment des Videobil- 
des bestimmt werden, wobei nach der Anpassung wiederum ein genaues 
15 dreidimensionales tiefenaufgelostes Bild bereitgestellt wird. 

Wahrend bei dem eifindungsgemafien Verfahren nach der ersten Alterna- 
tive also eine Erganzung der Bildinformation des Tiefenbildes durch das 
Videobild Oder umgekehrt erfolgt, wird bei dem erfmdungsgema&en Ver- 
20 fahren nach der zweiten Alternative durch Korrektur eines tiefenaufgelos- 
ten dreidimensionalen Videobildes ein dreidimensionales tiefenaufgelostes 
Bild mit hoher Genauigkeit der Tiefeninformation zumindest in der Erfas- 
sungsebene bereitgestellt. 



25 
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Anspruche 

Verfahren zur Bereitstellung von Bildinformationen uber einen 
Oberwachungsbereich, der im Sichtbereich (22) eines optoelektroni- 
schen Sensors (12), insbesondere eines Laserscanners, zur Erfas- 
sung der Lage von Gegenstanden (20) in wenigstens einer Erfas- 
sungsebene und im Sichtbereich (32) eines Videosystems (14) mit 
mindestens einer Videokamera (16) liegt, bei dem 

- von dem optoelektronischen Sensor (12) erfasste Tiefenbilder, die 
jeweils Gegenstandspunkten (26, 36, 38) auf einem oder mehreren 
erfassten Gegenstanden (20) in dem Oberwachungsbereich entspre- 
chende Bildpunkte (26', 36', 38') mit Lagekoordinaten der entspre- 
chenden Gegenstandspunkte (26, 36, 38) enthalten, und von dem 
Videosystem (14) erfasste Videobilder eines die Gegenstandspunkte 
(26, 36, 38) enthaltenden Bereichs, die Bildpunkte (26", 36", 38", 
54) mit von dem Videosystem (14) erfassten Daten umfassen, bereit- 
gestellt werden, 

- auf der Basis der erfassten Lagekoordinaten wenigstens eines der 
Gegenstandspunkte (26, 36, 38) wenigstens ein dem Gegenstands- 
punkt (26, 36, 38) entsprechender, von dem Videosystem (14) er- 
fasster Bildpunkt (26", 36", 38", 54) bestimmt wird, und 

- dem Bildpunkt (26", 36", 38", 54) des Videobildes entsprechende 
Daten und der Bildpunkt (26', 36', 38') des Tiefenbildes und/ oder 
die Lagekoordinaten des Gegenstandspunkts (26, 36, 38) einander 
zugeordnet werden. 

Verfahren nach Anspruch 1, 
dadurch gekennzeichnet, 

dass der dem Gegenstandspunkt (26, 36, 38) entsprechende Bild- 
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punkt (26", 36", 38", 54) des Videobildes in Abhangigkeit von den 
Abbildungseigenschaften des Videosystems (14) bestimmt wird. 

Verfahren nach Anspruch 1 oder 2, 
dadurch gekennzeichnet, 

dass auf der Basis der Lagekoordinaten eines von dem optoelektro- 
nischen Sensor (12) erfassten Gegenstandspunkts (26, 36, 38) und 
der Lage des Videosystems (14) festgestellt wird, ob der Gegen- 
standspunkt (26, 36, 38) in dem von dem Videosystem (14) erfass- 
ten Videobild ganz oder teilweise verdeckt ist. 

Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die Bestimmung von Gegenstandspunkten (26, 36, 38) ent- 
sprechenden Bildpunkten (26", 36", 38", 54) des Videobildes und 
die Zuordnung entsprechender Daten zu den Gegenstandspunkten 
(26, 36, 38) entsprechenden Bildpunkten (26', 36', 38') des Tiefen- 
bildes fur Gegenstandspunkte (26, 36, 38) in einem vorgegebenen 
Fusionsbereich erfolgt. 

Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass das Tiefenbild und das Videobild jeweils segmentiert werden, 
und 

dass mindestens einem Segment in dem Tiefenbild wenigstens ein 
Segment des Videobildes zugeordnet wird, das Bildpunkte (26", 36", 
38", 54) enthalt, die wenigstens einigen der Bildpunkte (26', 36', 38') 
des Segments des Tiefenbildes entsprechen. 
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6. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass das Tiefenbild segmentiert wird, 

dass in einem Bereich des Videobildes, der Bildpunkte (26", 36", 
5 38", 54) enthalt, die Bildpunkten (26', 36', 38') wenigstens eines 

Segments in dem Tiefenbild entsprechen, nach einem vorgegebenen 
Muster gesucht wird, und 

dass das Ergebnis der Suche dem Segment und/ oder den das Seg- 
ment bildenden Bildpunkten (26', 36', 38') als Daten zugeordnet 
10 wird. 

7. Verfahren zur Bereitstellung von Bildinformationen uber einen 
Uberwachungsbereich, der im Sichtbereich (22) eines optoelektroni- 
schen Sensors (12) zur Erfassung der Lage von Gegenstanden (20) 
in wenigstens einer Erfassungsebene und im Sichtbereich (32) eines 
Videosystems (42) zur Erfassung tiefenaufgeloster, dreidimensiona- 
ler Videobilder mit mindestens einer Videokamera (44, 48a, 48b) 
liegt, bei dem 

- von dem optoelektronischen Sensor (12) erfasste Tiefenbilder, die 
jeweils Gegenstandspunkten (26, 36, 38) auf einem oder mehreren 
erfassten Gegenstanden (20) in dem tTberwachungsbereich entspre- 
chende Bildpunkte (26', 36', 38') enthalten, und von dem Videosys- 
tem (42) erfasste Videobildern eines die Gegenstandspunkte (26, 36, 
38) enthaltenden Bereichs, die Bildpunkte (26", 36", 38", 54) mit 
Lagekoordinaten der Gegenstandspunkte (26, 36, 38) enthalten, be- 
reitgestellt werden, 

- Bildpunkte (26", 36", 38", 54) in dem Videobild, die sich nahe oder 
in der Erfassungsebene des Tiefenbildes befinden, durch eine 
Translation und/ oder Rotation an entsprechende Bildpunkte (26', 
36', 38') des Tiefenbildes angepasst werden, und 
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- die Lagekoordinaten dieser Bildpunkte (26", 36", 38", 54) des Vi- 
deobildes entsprechend der bestimmten Translation und/ oder Rota- 
tion korrigiert werden. 

5 8. Verfahren nach Anspruch 7, 

dadurch gekennzeichnet, 
dass jeweils erfasste Bilder segmentiert werden, 
dass mindestens ein Segment in dem Videobild, das Bildpunkte 
(26", 36", 38", 54) in oder nahe der Erfassungsebene des Tiefenbil- 
10 des aufweist, wenigstens durch eine Translation und/ oder Rotation 

an ein entsprechendes Segment in dem Tiefenbild angepasst wird, 
und dass die Lagekoordinaten dieser Bildpunkte (26", 36", 38", 54) 
des Segments des Videobildes entsprechend der Translation 
und / oder Rotation korrigiert werden. 

15 

9. Verfahren nach Anspruch 7 oder 8, 
dadurch g e k en nzeichnet, 

dass die Anpassung fur alle Segmente des Tiefenbildes gemeinsam 
durchgefuhrt wird. 

20 

10. Verfahren nach Anspruch 7 oder 8, 
dadurch gekennzeichnet, 

dass die Anpassung nur fur Segmente in einem vorgegebenen Fusi- 
onsbereich durchgefuhrt wird. 

25 

11. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass die bereitgestellten Bildinformationen wenigstens die Lageko- 
ordinaten von erfassten Gegenstandspunkten (26, 36, 38) enthalten 
30 und als tiefenaufgelostes Bild verwendet werden. 
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12. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass der Fusionsbereich auf der Basis eines vorgegebenen Aus- 
5 schnittes des Videobildes und der Abbildungseigenschaften des Vi- 

deosystems (14, 42) bestimmtwird. 

13 . Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass auf der Basis der Daten eines der tiefenaufgelosten Bilder oder 
der bereitgesteUten Bildinformationen eine Objekterkennung und 
-verfolgung durchgefuhrt wird, und 

dass der Fusionsbereich anhand von Daten der Objekterkennung 
und -verfolgung bestimmt wird. 



10 



15 



14. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass der Fusionsbereich anhand von Daten uber die vermutliche 
Lage von Gegenstanden (20) oder bestimmten Bereichen auf den 
20 Gegenstanden (20) bestimmt wird. 

15. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

dass der Fusionsbereich anhand von Daten aus einer digitalen 
25 StraiSenkarte in Verbindung mit einem GPS-Empfanger bestimmt 

wird. 

16. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 



3NSDOCID* <WO 0210338SA.1 I > 



WO 02/103385 



PCT/EP02/06599 



45 

dass mehrere Tiefenbilder eines oder mehrerer optoelektronischer 
Sensoren (12) verwendet werden. 

17. Verfahren nach Anspruch 16, 

5 dadurch gekennzeichnet, 

dass die Anpassung fur Segmente in wenigstens zwei der mehreren 
Tiefenbilder gleichzeitig erfolgt. 

18. Verfahren nach einem der vorhergehenden Anspruche, 
10 dadurch gekennzeichnet, 

dass ein Tiefenbild verwendet wird, das dadurch erhalten wurde, 
dass bei einer Abtastung des Sichtbereichs (22) des optoelektroni- 
schen Sensors (12) die Bildpunkte (26', 36', 38') nacheinander er- 
fasst wurden, und 

15 dass vor der Bestimmung der Bildpunkte (26", 36", 38", 54) im Vi- 

deobild oder der Segmentbildung die Lagekoordinaten der Bildpunk- 
te (26', 36', 38') des Tiefenbildes jeweils entsprechend der tatsachli- 
chen oder einer daran angenaherten Bewegung des optoelektroni- 
schen Sensors (12) und der Differenz zwischen den Erfassungszeit- 

20 punkten der jeweiligen Bildpunkte (26', 36', 38') des Tiefenbildes 

und einem Bezugszeitpunkt korrigiert werden. 

19. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

25 dass Tiefenbilder verwendet werden, die dadurch erhalten wurden, 

dass bei einer Abtastung des Sichtbereichs (22) des optoelektroni- 
schen Sensors (12) die Bildpunkte (26', 36', 38') nacheinander er- 
fasst wurden, 

dass eine Folge von Tiefenbildern erfasst und eine Objekterkennung 
30 und/ oder -verfolgung auf der Basis der Bildpunkte (26', 36', 38') der 
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Bilder des Oberwachungsbereichs durchgefuhrt wird, wobei jedem 
erkannten Objekt Bildpunkte (26', 36', 38') und jedem dieser Bild- 
punkte (26', 36*, 38') bei der Objektverfolgung berechnete Bewe- 
gungsdaten zugeordnet werden, und 

dass vor der Bestimmung der Bildpunkte (26", 36", 38", 54) im Vi- 
deobild Oder vor der Anpassung der Lagekoordinaten die Lagekoor- 
dinaten der Bildpunkte (26', 36', 38') des Tiefenbildes unter Verwen- 
dung der Ergebnisse der Objekterkennung und/oder -verfolgung 
korrigiert werden. 

20. Verfahren nach Anspruch 19, 
dadurch gekennzeichnet, 

dass bei der Korrektur die Lagekoordinaten der Bildpunkte (26', 36', 
38') entsprechend der ihnen zugeordneten Bewegungsdaten und der 
Differenz zwischen der Erfassungszeit der Bildpunkte (26', 36', 38') 
des Tiefenbildes und einem Bezugszeitpunkt korrigiert werden. 

2 1 . Verfahren nach einem der Anspruche 18 bis 20, 
dadurch gekennzeichnet, 

dass der Bezugszeitpunkt der Zeitpunkt der Erfassung des Videobil- 
des ist. 

22. Verfahren zur Erkennung und Verfolgung von Objekten, bei dem 
Bildinformationen uber einen Oberwachungsbereich mit einem Ver- 
fahren nach einem der vorhergehenden Anspruche bereitgestellt 
werden, 

und auf der Basis der bereitgestellten Bildinformationen eine Ob- 
jekterkennung und -verfolgung durchgefuhrt wird. 
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23. Computerprogramm mit Programmcode-Mitteln, urn ein Verfahren 
nach einem der Anspriiche 1 bis 22 durchzufiihren, wenn das Pro- 
gramm auf einem Computer ausgefuhrt wird. 



5 24. 



10 



15 



Computerprogrammprodukt mit Programmcode-Mitteln, die auf 
einem computerlesbaren Datentrager gespeichert sind, urn ein Ver- 
fahren nach einem der Anspriiche 1 bis 22 durchzufiihren, wenn 
das Computerprogrammprodukt auf einem Computer ausgefuhrt 

wird. 

25. Vorrichtung zur Bereitstellung von tiefenaufgelosten Bildern eines 
Oberwachungsbereichs, mit mindestens einem optoelektronischen 
Sensor (12) zur Erfassung der Lage von Gegenstanden (20) in we- 
nigstens einer Erfassungsebene, insbesondere einem Laserscanner, 
einem Videosystem (14, 42) mit mindestens einer Videokamera (16, 
44, 48a, 48b) und einer mit dem optoelektronischen Sensor (12) und 
dem Videosystem (14, 42) verbundenen Datenverarbeitungseinrich- 
tung (18, 46), die zur Durchfuhrung eines Verfahrens nach einem 
der Anspriiche 1 bis 22 ausgebildet ist. 

26. Vorrichtung nach Anspruch 25, 
dadurch gekennzeichnet, 

dass das Videosystem (14, 42) eine Stereokamera (44, 48a, 48b) auf- 
weist. 

25 ' 

27. Vorrichtung nach Anspruch 25, 
dadurch gekennzeichnet, 

dass das Videosystem und der optoelektronische Sensor zu einem 
Sensor integriert sind. 

30 



20 
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28. Vorrichtung nach Anspruch 25 oder 27, 
dadurch gekennzeichnet, 

dass das Videosystem eine Anordnung von Photodetektionselemen- 
ten aufweist, 

5 dass der optoelektronische Sensor ein Laserscanner ist, und 

dass die Anordnung von Photodetektionselementen synchron mit 
einem zur Abtastung eines Sichtbereichs des Laserscanners ver- 
wendeten Strahlungsbundel und/ oder mindestens einem zur Detek- 
tion von Stxahlung dienenden Photodetektionselement des Laser- 
10 scanners, insbesondere um eine gemeinsame Achse, verschwenkbar 

ist. 
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